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制御 部 2 2 2 と を 含む 、。 こ れ ら の いずれ に お いて も 、 戻 
り 時 間 が 、 和 驚き 状態 へ の 変化 に 要する 時 間 よ り も 長く な 
る よう に 制御 され る 。 

【 選択 図 】 図 1 2 
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【 特許 請求 の 範囲 】 

【 請求 項 1 】 

所 定 の 時 間 区 間 に お いて 、 驚 き に 伴う 動作 を 行う 様 に ヒュ ー マ ノ イド 型 の ロボ ッ ト を 制御 
する た め の 和 驚き 動作 生成 装置 で あっ て 、 

前 記 ロ ボッ ト の 顔 の 表情 、 頭 部 の 状態 、 及 び 上 半身 の 状態 は 、 和 驚い て いな い 状 態 で ある 
中 立 状態 と 、 和 驚い た 状態 で ある 和 驚き 状態 と に それ ぞ れ 制御 可能 で あり 、 

前 記 時 間 区 間 の 少な く と も 開始 時 刻 と 終了 時 刻 と を 特定 する 驚き 区 間 信 号 を 受信 する 様 
に 接続 され 、 前 記 開始 時 刻 に 、 前 記 顔 の 表情 を 前 記 驚 き 状 態 に 変化 させ る 動作 を 開始 し 、 
前 記 終 了 時 刻 の 後 、 第 1 の 戻り 時 間 内 に 、 前 記 顔 の 表情 を 前 記 中 立 状態 に 戻す よう 、 前 記 
ロボ ッ ト を 制御 する 表情 制御 手段 と 、 

前 記 開 始 時 刻 に 、 前 記 頭 部 を 前 記 驚 き 状 態 に 変化 させ る 動作 を 開始 し 、 前 記 終 了 時 刻 の 
後 、 第 2 の 戻り 時 間 内 に 、 前 記 頭 部 の 状態 を 前 記 中 立 状態 に 戻す よう 、 前 記 ロ ボッ ト を 制 
御 す る 頭 部 制御 手段 と 、 

前 記 開 始 時 刻 に 、 前記 上 半身 を 前 記 和 驚き 状態 に 変化 させ る 動作 を 開始 し 、 前 記 終 了 時 刻 
の 後 、 第 3 の 戻り 時 間 内 に 、 前 記 上 半身 を 前 記 中 立 状態 に 戻す よう 、 前 記 ロ ボッ ト を 制御 
する 上 半身 制御 手段 と を 含み 、 

前 記 表 情 制御 手段 、 前 記 頭 部 制御 手段 、 及 び 前 記 上 半身 制御 手段 の いずれ に お いて も 、 
前 記 第 1 、 第 2 又は 第 3 の 戻り 時 間 が 、 前 記 開始 時 刻 に 開始 し た 、 前 記 和 驚き 状 態 へ の 変化 
に 要する 時 間 よ り も 長く な る 様 に 制御 され る 、 和 驚き 動作 生成 装置 。 

【 請求 項 2 】 
前 記 驚 き 状態 は 、 第 1 の レベ ル の 和 驚き 状態 と 、 前 記 第 1 の レベ ル よ り 高 い 第 2 の レベ ル の 
驚き 状態 と を 含み 、 

前 記 驚 き 区 間 信 号 に 加え て 、 人 敬 き の レベ ル を 示す 人 驚き レベ ル 信 号 が さら に 前 記 和 驚き 動作 
生成 装置 に 与え られ 、 

前 記 表 情 制御 手段 、 前 記 頭 部 制御 手段 、 及 び 前 記 上 半身 制御 手段 の 任意 の 組み 合わ せ に 
お いて 、 前 記 和 多き レベ ル 信 号 に 応じ て 驚き 状態 を 前 記 第 1 の レベ ル に 応じ た 第 1 の 驚き 状 
態 と 、 前 記 第 2 の レベ ル に 応じ た 第 2 の 驚き 状態 と に 区 別して 前 記 ロ ボッ ト を 制御 する 、 
請求 項 1 に 記載 の 驚き 動作 生成 装置 。 

【 請求 項 3 】 

前 記 中 立 状態 か ら 前 記 第 2 の 驚き 状態 へ の 前 記 ロ ボッ ト の 各部 の 変位 量 は 、 前 記 中 立 状態 
か ら 前 記 第 1 の 驚き 状態 へ の 前 記 ロ ボッ ト の 各部 の 変位 量 よ り 大 きい 、 請 求 項 2 に 記載 の 
驚き 動作 生成 装置 。 

【 請求 項 4 】 

前 記 表情 制御 手段 は 、 前 記 和 驚き 状態 に お ける 眉毛 の 目 か ら の 離間 量 が 、 前 記 中 立 状態 に お 
ける 離間 量 よ り 大 きく な る 様 に 眉毛 を 制御 する 、 請 求 項 1 ~ 請 求 項 3 の いずれ か に 記載 の 
驚き 動作 生成 装置 。 

請求 項 5 】 

前 記 頭 部 制御 手段 は 、 前 記 驚 き 状態 に お ける 前 記 頭 部 が 、 前 記 中 立 状態 に お ける 位置 か ら 
前 記 ロ ボッ ト に と っ て 後方 に 移動 する 様 に 前 記 頭 部 を 制御 する 、 請 求 項 1 ~ 請 求 項 4 の い 
ずれ か に 記載 の 驚き 動作 生成 装置 。 

【 請求 項 6】 

前 記 上 半身 制御 手段 は 、 前 記 驚 き 状 態 に お ける 前 記 上 半身 が 、 前 記 中 立 状態 に お ける 位置 
か ら 前 記 ロ ボッ ト に と っ て 後方 に 反 る 様 に 前 記 上 半身 を 制御 する 、 請 求 項 1 一 請求 項 5 の 
いずれ か に 記載 の 驚き 動作 生成 装置 。 

【 請求 項 7 】 

前 記 表情 制御 手段 、 前 記 頭 部 制御 手段 、 及 び 前 記 上 半身 制御 手段 の いずれ も 、 前 記 中 立 状 
態 と 前記 驚き 状態 と の 間 の 変化 が 滑ら か に な る 様 に 前 記 ロ ボッ ト を 制御 する 、 請 求 1 ~ 請 
求 項 6 の いずれ か に 記載 の 驚き 動作 生成 装置 。 

【 請求 項 8 】 

前 記 顔 の 表情 が 、 前 記 驚 き 状 態 か ら 前 記 中 立 状態 に 戻っ た こと に 応答 し て 、 前 記 ロ ボッ ト 
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の 目 を 1 回 閉じ させ た 後 、 前 記 中 立 状態 に 戻す 制御 を 行う こと に より 前 記 ロ ボッ ト に 瞬き 
を 行わ せる た め の 有 瞬き 制 御手 段 を さら に 含む 、 請 求 項 1 ~ 請 求 項 7 の いずれ か に 記載 の 和敬 
き 動作 生成 装置 。 

【 請求 項 9 】 

前 記 時 間 区 間 に お いて 、 前 記 ロ ボッ ト が 発声 すべ き 発 話 音声 信号 の フォ ルマン ト を 抽出 す 
る フォ ルマン ト 抽出 手段 と 、 

前 記 フ ォ ル マン ト 抽出 手段 に より 抽出 され た フォ ルマン ト に 対応 し て 前 記 ロ ボッ ト の ロ 
唇 の 開口 量 を 制御 する た め の 口 唇 動作 制御 手段 を さら に 含む 、 請 求 項 1 一 請求 項 8 の い ず 
れ か に 記載 の 驚き 動作 生成 装置 。 

請求 項 1 0 】 
音声 信号 を 受信 し 、 当該 音 声 信号 か ら 、 そ の 話 者 の 和 驚 き 状 態 を 検出 し 、 前 記 驚 き 区 間 信 号 
を 生成 する た め の 和 驚き 区 間 信 号 生 成 手 段 を さら に 含む 、 請 求 項 1 一 請求 項 9 の いずれ か に 
記載 の 驚き 動作 生成 装置 。 

【 請求 項 1 1 】 
前 記 音 声 信 号 か ら フ ォ ル マン ト を 抽出 する フォ ルマン ト 抽出 手段 と 、 

前 記 フ ォ ル マン ト 抽出 手段 に より 抽出 され た フォ ルマン ト に 対応 し て 前 記 ロ ボッ ト の ロ 
唇 の 開口 量 を 制御 する た め の 口 庄 動 作 制 御手 段 を さら に 含む 、 請 求 項 10 に 記載 の 驚き 動 
作 生 成 装 置 。 

【 発明 の 詳細 な 説明 】 
【 技術 分 野 】 
【[0001]】 

この 発明 は 、 い わ ゆ る ヒュ ー マ ノ イド ロボ ッ ト の 制御 の 改善 技術 に 関し 、 特 に 、 人 間 が 
ヒュ ー マ ノ イド ロボ ッ ト を 相手 に 対話 し て いる と き の ヒ ュー マ ノ イ ドロ ボッ ト の 動作 を 従 
来 の も の より 人 に 近い 自然 な も の に する 技術 に 関す る 。 

【 背景 技術 】 
[0002]】 

驚き 発話 は 日 常 会 話 の 場面 で 頻出 し 、 コ ミュ ニケ ーション を 円 滑 に 進め る 上 で 感情 や 熊 
度 の 表現 に お いて 重要 な 役割 を 果たす 。 

【0003】 

これ まで 人 型 品 ボッ ト を 通し て 円 滑 な 遠隔 コミ ュ ニ ケー ショ ン を 実現 する 研究 が 行わ れ 
て きた が 、 人 型 の ヒュ ー マ ノ イド ロボ ッ ト 、 特に 人 の 姿 を 持つ アン ドロ イド の 場合 は 、 よ 
り 人 らし い 振 る 舞い が 要求 され る こと が 明らか に な っ て いる 。 特に 、 和 驚き の よう な 感情 表 
現に お いて 、 声 は 驚い て いる の に 適切 な 表情 又は 動作 が 伴わ な い 場 合 は 、 コ ミュ ニケ ー シ 
ョ ン の 相手 に 違和感 が 生じ る 。 し た が っ て 、 和 驚き 発話 に 伴う 自然 な 動作 を 生成 する こと は 
重要 で ある 。 

39904 

過去 に は 、 笑 い に 伴う アン ドロ イド の 動作 に つい て 自然 な 動作 を 実現 する こと を 目指 し 
た 技術 を 開示 し た も の ( 後 掲 の 非 特許 文献 1 ) は ある が 、 対 話 に お いて 生じ る 驚き に 伴う 
自然 な 動作 を アン ドロ イド に 行わ せる よう な 技術 は 実現 で き て いな い 。 
【 先行 技術 文献 】 
【 非 特許 文 献 】 


【0005】 

【 非 特許 文献 1 】 lshi, C., Funayama, T., Minato, T., lshiguro, H. (2016). 
” Motion generation in android robots during laughing speech,” Proc. 
IROS 2016, pp. 3327-3332, 0ct., 2016. 

【 発明 の 概要 】 

【 発明 が 解決 し よう と する 課題 】 

【0006】 


既に 述べ た と お り 、 ア ンド ロイ ド の 様 に 人 間 に よ く 似 た ロボ ッ ト の 場合 、 対 話 中 に 人 間 
と 異な る 動作 を する と 違和感 が 生じ 、 か えっ て 不気味 な 印象 を 相手 に 与え て し まう 。 そ の 
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よう な 問題 を 生じ させ な いた め に は 、 対 話 中 の アン ドロ イド の 動作 を ご く 自 然 な も の に す 
る 必要 が ある 。 特に 、 和 驚 き 動 作 は 、 対 話 を 滑ら か に 進行 させ る 上 で 非常 に 重要 で ある に も 
か か わら ず 、 そ うし た 問題 に 着目 し て アン ドロ イド の 動作 を 制御 する 技術 は これ まで 存在 
し て いな か っ た 。 

【0007】 

し た が っ て 、 ヒ ュー マ ノ イ ドロ ボッ ト に お いて 、 和 驚き に 伴う 、 自 然 な 、 人 らし い 和 動作 を 
実現 する た め の 制 御 装置 を 提供 する こと が 本 発明 の 1 つの 目標 で ある 。 
【0008】 

また 、 和 驚き に 伴う 、 自 然 な 、 人 らし い 動 作 を 実現 する た め に ヒュ ー マ ノ イド ロボ ッ ト の 
各部 を 協調 し て 動作 させ る 制御 装置 を 提供 する こと も 好ま し い 。 
【 課題 を 解決 する た め の 手 段 】 

【0009】 

第 1 の 局面 に 係る 驚き 動作 生成 装置 は 、 所 定 の 時 間 区 間 に お いて 、 和 驚き に 伴う 動作 を 行 
う 様 に ヒ ユ ー マ ノ イド 型 の ロボ ッ ト を 制御 する 。 ロ ボッ ト の 顔 の 表情 、 頭 部 の 状態 、 及 び 
上 半身 の 状態 は 、 人 敬い て いな い 状 態 で ある 中 立 状 態 と 、 和 驚い た 状態 で ある 驚き 状態 と に そ 
れ ぞ れ 制 御 可能 で ある 。 こ の 驚き 動作 生成 装置 は 、 上 記 時 間 区 間 の 少な く と も 開始 時 刻 と 
終了 時 刻 と を 特定 する 驚き 区 間 信 号 を 受信 する 様 に 接続 され 、 開 始 時 刻 に 、 顔 の 表情 を 和敬 
き 状 態 に 変化 させ る 動作 を 開始 し 、 終 了 時 刻 の 後 、 第 1 の 戻り 時 間 内 に 、 顔 の 表情 を 中 立 
状態 に 戻す よう 、 ロ ボッ ト を 制御 する 表情 制御 手段 と 、 開 始 時 刻 に 、 頭 部 を 驚き 状態 に 変 
化 さ せる 動作 を 開始 し 、 終 了 時 刻 の 後 、 第 2 の 戻り 時 間 内 に 、 頭 部 の 状態 を 中 立 状 態 に 戻 
す よ う 、 ロ ボッ ト を 制御 する 頭 部 制御 手段 と 、 開 始 時 刻 に 、 上 半身 を 驚き 状態 に 変化 させ 
る 動作 を 開始 し 、 終 了 時 刻 の 後 、 第 3 の 戻り 時 間 内 に 、 上 半身 を 中 立 状態 に 戻す よう 、 ロ 
ボッ ト を 制御 する 上 半身 制御 手段 と を 含む 。 表情 制御 手段 、 頭 部 制御 手段 、 及 び 上 半身 制 
御手 段 の いずれ に お いて も 、 第 1 、 第 2 又は 第 3 の 戻り 時 間 が 、 開 始 時 刻 に 開始 し た 、 驚 
き 状 態 へ の 変化 に 要する 時 間 よ り も 長く な る 様 に 制御 され る 。 

[0010]】 

好ま し く は 、 和 驚き 状態 は 、 第 1 の レベ ル の 驚き 状態 と 、 第 1 の レベ ル よ り 高 い 第 2 の レ 
ベル の 驚き 状態 と を 含む 。 ま た 、 和 驚き 区 間 信 号 に 加え て 、 和 驚き の レベ ル を 示す 驚き レベ ル 
信号 が さら に 驚き 動作 生成 装置 に 与え られ る 。 表情 制御 手段 、 頭 部 制御 手段 、 及 び 上 半身 
制御 手段 の 任意 の 組み 合わ せ に お いて 、 驚 きき レベ ル 信 号 に 応じ て 驚き 状態 を 第 1 の レベ ル 
に 応じ た 第 1 の 驚き 状態 と 、 第 2 の レベ ル に 応じ た 第 2 の 驚き 状態 と に 区 別して ロロ ボット 
を 制御 する 。 

【[0011]】 

より 好ま し く は 、 中 立 状態 か ら 第 2 の 驚き 状態 へ の ロボ ッ ト の 各部 の 変位 量 は 、 中 立 状 
態 か ら 第 1 の 驚き 状態 へ の ロボ ッ ト の 各部 の 変位 量 よ り 大 きい 。 

[0012]】 

さら に 好ま し く は 、 表 情 制御 手段 は 、 和 驚き 状態 に お ける 眉毛 の 目 か ら の 離間 量 が 、 中 立 
状態 に お ける 離間 量 よ り 大 きく な る 様 に 眉毛 を 制御 する 。 
【0013】 

頭 部 制御 手段 は 、 和 驚き 状態 に お ける 頭 部 が 、 中 立 状 態 に お ける 位置 か ら ロ ボッ ト に と っ 
て 後方 に 移動 する 様 に 頭 部 を 制御 し て も よい 。 

[0014]】 

好ま し く は 、 上 半身 制御 手段 は 、 和 驚き 状態 に お ける 上 半身 が 、 中 立 状 態 に お ける 位置 か 
ら ロ ボッ ト に と っ て 後方 に 反 る 様 に 上 半身 を 制御 する 。 

[0015]】 

より 好ま し く は 、 表 情 制 御手 段 、 頭 部 制御 手段 、 及 び 上 半身 制御 手段 の いずれ も 、 中 立 
状態 と 驚き 状態 と の 間 の 変化 が 滑ら か に な る 様 に ロボ ッ ト を 制御 する 。 
【0016】 

さら に 好ま し く は 、 和 驚き 動作 生成 装置 は 、 ロ ボッ ト の 顔 の 表情 が 、 和 驚き 状態 か ら 中 立 状 
態 に 戻っ た こと に 応答 し て 、 ロ ボッ ト の 目 を 1 回 閉じ させ た 後 、 中 立 状態 に 戻す 制御 を 行 
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うこ と に より ロボ ッ ト に 瞬き を 行わ せる た め の 瞬 き 制 御手 段 を さら に 含む 。 

[0017]】 

驚き 動作 生成 装置 は 、 時 間 区 間 に お いて 、 ロ ボッ ト が 発声 すべ き 発話 音声 信号 の フォ ル 
マン ト を 抽出 する フォ ルマン ト 抽出 手段 と 、 フ ォ ル マン ト 抽出 手段 に より 抽出 され た フォ 
ルマン ト に 対応 し て ロボ ッ ト の 口唇 の 開口 量 を 制御 する た め の 口 唇 動作 制御 手段 を さら に 
含ん で も よい 。 

【0018】 

好ま し く は 、 和 驚き 動作 生成 装置 は 、 音 声 信号 を 受信 し 、 当 該 音 声 信号 か ら 、 そ の 話 者 の 
驚き 状態 を 検出 し 、 和 驚き 区 間 信 号 を 生成 する た め の 和 驚き 区 間 信 号 生 成 手段 を さら に 含む 。 
【0019】 

より 好ま し く は 、 和 驚き 動作 生成 装置 は 、 音 声 信 号 か ら フ ォ ル マン ト を 抽出 する フォ ル マ 
ント 抽出 手段 と 、 フ ォ ル マン ト 抽出 手段 に より 抽出 され た フォ ルマン ト に 対応 し て ロボ ッ 
ト の 口唇 の 開口 量 を 制御 する た め の 口 辱 動作 制御 手段 を さら に 含む 。 

【 図面 の 簡単 な 説明 】 

【0020】 

【 図 1 】 分 析 デ ー タ に お ける 、 有 形態素 ご と の 驚き 発話 の 分 布 を 示す 図 で ある 。 

【 図 2 】 分 析 デ ー タ 中 の 驚き 発話 の 驚き の 度合 に よる 分 布 を 表 形 式 で 示す 図 で ある 。 

【 図 3 】 分 析 デ ー タ 中 の 驚き 発話 に 伴う 動作 タイ プ の 分 布 を 示す 図 で ある 。 

【 図 4 】 分 布 デ ー タ 中 の 各 驚 き 表 現に お ける 動作 の 出現 度 を 示す 図 で ある 。 

【 図 5 】 分 布 デ ー タ 中 の 驚き 表現 に 伴う 各 動 作 タ イプ に 対す る 動作 の 出現 度 を 示す 図 で あ 
る 。 

【 図 6 】 分 布 デ ー タ 中 の 各 形 態 素 に 関す る 動作 タイ プ の 分 布 を 示す 図 で ある 。 

【 図 7 】 眉毛 の 引き 上 げ 時 間 及 び 戻 り 動 作 の 持続 時 間 の 平均 及び 標準 偏差 を 驚 き の レ ベル 
別に 示す 図 で ある 。 

【 図 8 】 上 半身 反り 動作 に お ける 開始 及び 戻り に 要する 時 間 の 平均 と 標準 偏差 と を レベ ル 
1 及び レベ ル 2 の 双方 に つい て 示し た 図 で ある 。 

【 図 9 】 各 動作 タイ プ に つい て 、 動 作 と 驚き 発話 と の 間 の 時 間 差 の 分 布 を 示す 図 で ある 。 
【 図 10】 ア ンド ロイ ド に 設け られ た アク チュ エー タ の 配置 を 示す 図 で ある 。 

【 図 1 1 】 ア ンド ロイ ド の 中 立 状態 の 表情 、 レ ベル 1 の 驚き 表情 、 及 び レ ベル 2 の 驚き 表 
情 を 示す 図 で ある 。 

【 図 1 2】 ア ンド ロイ ド の 制御 装置 の 構成 を 示す ブロ ッ ク 図 で ある 。 

【 図 1 3 】 図 1 2 に 示す 制御 装置 を 実現 する コン ピュ ー タ の ハー ドウ ェ ア 構 成 を 示す ブロ 


ッ ク 図 で ある 。 
【 発明 を 実施 する た め の 形 態 】 
【0021 1 


以下 の 説明 及び 図面 で は 、 同 一 の 部 品 に は 同一 の 参照 番号 を 付 し て ある 。 し た が っ て 、 
それ ら に つい て の 詳細 な 説明 は 繰 返 さ な い 。 
[0022]】 

本 実施 の 形態 は 、 和 驚き 発話 に 焦点 を 当て 、 対 面 対話 デー タ を 分 析 し 、 和 驚き 表現 の 度合 叉 
は 種類 と 、 そ れ に 伴う 表情 及び 身体 動作 と の 関連 性 を 分 析 し 、 そ の 結果 に 基づい て 人 らし 
い 和 驚き 動作 を 実現 し た 。 

[0023]】 

[ 分 析 デ ー タ ] 

く マ ル チ モ ー ダ ル 対 話 音声 デー タベース > 

分 析 に は 、 出 願 和 人 が 収集 し た マル チ モ ー ダ ル 対 話 音声 デー タベース を 用 いた 。 こ の デー 
タベース は さま ざま な 年 代 の 話 者 に よる 、 音 声 、 頭 部 の モー ショ ン キ ャ プチ ャ デー タ お よ 
び ビ デオ デー タ を 含む 。 各 対 話 は 1 0 分 程度 で 、 自 由 会 話 で ある 。 デ ー タ ベー ス は 発話 区 
間 の 情報 と 書き 起こ し を 含み 、 和 驚き が 表現 され た 発話 に は ラベ ル が 付与 され て いる 。 
[0024]】 

デー タベース に は 、 フ レー ズ ( アク セン ト 句 ) 毎 に 談話 機能 ラベ ル が 付与 され 、 感 動 語 
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に は 、 相 机 、 青 定 、 聞 き 返 し 、 意 外 、 和 驚き 、 感 心 、 気 づき な どの パラ 言語 ラベ ル が 付与 さ 
れ て いる 。 書き 起こ し に は 感嘆 詞 「 ! 」 が 付い て いる も の も あり 、 感 動詞 以外 の フレ ー ズ 
で 和 驚き を 表現 し た も の も 含ま れ て いる 。 そ こ で 、「 ! 」 を 含む フレ ー ズ を 抽出 し 、 明 ら か 
に 和 驚き 以外 の も の は 除外 し て 、 和 驚 き ラ ベル が 付与 され た 感動 詞 と 合わ せ て 分 析 デ ー タ と し 
て 用 いた 。 分 析 に は 28 名 の 成人 話 者 (男性 1 2 名 、 女 性 1 6 名) の デー タ を 用 いた 。 こ 
の デー タ か ら お よそ 6 36 個 の 和 驚き 発話 が 抽出 され た 。 


【0025】 

図 1 に 形態 素 ご と の 驚き 発話 の 分 布 を 示す 。 感動 詞 「 え 」 が 最も 出現 度 が 多く (4 0 %) 
、 感 動詞 「 あ 」(20 %) と 「 へ 」(1 1 %) が 次 いで 多く 出現 し た 。 
【0026】 


く 驚き の 度合 と 種類 の ラベ ル デ ー タ > 

各 驚 き 発 話 に お いて 、 人 和敬 き の 度 合 を 4 段階 ( 葉 い て いな い 、 少 し 敬い て いる 、 和 驚い て い 
る 、 す ご く 驚い て いる ) で 付与 する よう ラベ ル 付 与 者 に 指示 し た 。 そ の 際 に 、 会 話 の 文脈 
を 考慮 する た め 、 発話 の 前 後 5 秒 の 区 間 も 含 め 、 対 話 の 相手 の 声 も 聴け る 様 に し た 。 
[0027]】 

驚き 発話 の 中 に は 、 感 情 的 ・ 自 発 的 な も の と 意図 的 に 表現 し た も の と が 混合 し て いる 。 
そこ で 、 自 発 的 か 意図 的 か に 関わ ら ず 、 和 驚き の 表現 の 度合 を 判断 する よう ラベ ル 付 与 者 に 
指示 し た 。 驚き の 表現 の 種類 は 以下 の 項目 で 付与 する よう 指示 し た 。 

【0028】 

1 感情 的 ・ 自 発 的 な 反応 

2 社会 的 ・ 意 図 的 な 反応 

3 対話 の 中 に 過去 の 驚き 発話 を 再現 ・ 引 用 

意図 的 な 和 驚き 表現 は 、 対 話 イ ンタ ラク ショ ン を 円 滑 に する た め 、 自 然 に 発生 する こと が 
多い 。 し か し 、 和 驚き 表現 が 自発 的 か 意図 的 か を 第 三 者 が 判断 する の は 、 ラ ベル 付与 者 の 主 
観 に よる た め 、 判 断 結 果 に ば ら つ き が 多く 生じ る と 予想 され る 。 

[0029]】] 

日 本 語 母 語 話 者 4 名 が 、 各 発話 に お いて 驚き の 度合 お よび 驚き の 種類 の ラベ ル を 付与 し 
た 。 驚き の 度合 は 、 平 均 を 取り 、0~-3 の 指標 で 表現 し た 。 各 度合 の 出現 数 は 図 2 に 示す 
と お り 、 レ ベル 0 : 63 個 、1 : 361 個 、2:187 個 、3:25 個 と な っ た 。 日 常 会 
話 で 最も 多く 出現 する の は 、 驚 き 表 現 の 度合 が 低い も の (レベル 1 ) で ある 。 
【0030】 

驚い て いな いと 判断 され た 6 3 個 の 発話 (レベ ル 0 ) は 除外 し 、 残 り の 573 個 の 発話 
を 分 析 対 象 と し た 。 驚き 表現 の 種類 に 関し て は 、 出 現 数 が {自発 的 :343 個 (60%) 
、 意 図 的 : 187 個 (33%) 、 再 現 : 43 個 (7.59%)} と な っ た 。 

【0031】 

く 驚き 発話 に 伴う 動作 の ラベ ル デ ー タ ”> 

驚き 発話 に 伴う 表情 や 身体 動作 に 関連 する ラベ ル と し て 、 以 下 の 項 目 を 使用 し た 。 
[0032]】 

具 : { 閉じ て いる 、 普通 に 開い て いる 、 大 きく 見 開い て いる } 

眉毛 : { 上 が っ て いる 、 少 し 上 が っ て いる 、 上 が っ て いな い 、 敗 め て いる } 

頭 部 : { 動い て いな い 、 上 、 下 、 左 か 右 、 上 昇 下降 、 傾 げ 、 賃 き 、 そ の 他 )} 

胴体 : { 動い て いな い 、 前 、 後 ろ 、 上 、 下 、 左 か 右 、 傾 げ 、 回 る 、 そ の 他 )} 

各 和 驚き 発話 区 間 に 対 し 、 研 究 補 助 具 1 名 が ビデ オ を 見 な が ら 表 情 や 動作 に 関連 する ラベ 
ル を 付与 し た 。 複数 の 動作 が 含ま れる 場合 は 、 複 数 項目 の 選択 を 可能 と し た 。 
[0033]】] 

図 3 に 驚き 発話 で 観測 され た 動作 の 分 布 を 示す 。 図 3 を 参照 し て 、 眉 毛 を 上 げ る 動作 ( 
目 を 見 開く 動作 と 伴う こと が 多い ) が 最も 多く 、 次 いで 頭 部 を 上 げ る また は 上 げ て すぐ 下 
げ る 動作 、 上 半身 を 後ろ に 反 る 動作 、 及 び 人 額 き 動 作 が 多く 出現 し た 。 動作 が 全く 伴わ な い 
驚き 発話 は 30% で 観測 され た 。 こ れ は 日 常 会 話 で 驚き を 表現 する 度 に 表情 や 動作 が 必ず 
し も 伴わ な いこ と を 示し て いる 。 ま た 、 動 作 の 出現 度 は 、 人 驚き 表現 の 度合 に も 依存 する と 
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考え られ る 。 
【0034】 

[ 分 析 結 果 ] 

図 4 に 、 和 驚き 表現 の 種類 別 で 、 和 驚き の 度合 に お ける 動作 の 出現 度 の 分 布 を 示す 。 全 体 的 
に 驚き 表現 の 度合 が 上 が る に つれ て 、 動 作 の 出現 度 も 上 が る こと が 分 か る (「 全体 」)。 こ 
の 傾向 は 、 感 情 的 ・ 自 発 的 な 驚き 発話 で より 顕著 に 現れ る 。 一 方 で 、 社 会 的 ・ 意 図 的 な 驚 
き 発話 お よび 和 父 き の 引用 発話 で は 、 和 驚き の 度合 が 高く て も 動作 が 必ず し も 伴わ な いこ と が 
分 か る 。 

【0035】 

図 5 に 、 出 現 度 の 高かっ た 動作 ( 眉毛 、 上 半身 、 頭 部 ) に お いて 、 和 驚き の 度合 に お ける 
動作 の 出現 度 の 分 布 を 示す 。 こ の 結果 より 、 眉 毛 を 上 げ る 動作 は 、 和 驚き の 度合 が 中 お よび 
高 ( レベ ル 2 及び 3 ) の 場合 に 高く な る の に 対し 、 上 半身 を 後ろ に 反 る 動作 は 、 驚 き の 度 
合 が 高 ( レベ ル 3 ) の 場合 の み 高 く な る 。 

【0036】 

図 6 に 、 出 現 度 が 最も 多かっ た 感動 詞 「 え 」、「 あ 」 お よび 「 へ 」 に お ける 各 動 作 の 出 
現 度 の 分 布 を 示す 。 感 動詞 に よっ て 、 驚 き 発 話 に 伴う 動作 の 傾向 も 変わ る こと が 分 か る 。 
「 え 」 の 場合 は 、 眉 毛 を 上 げ る 動作 が 最も 多く 、「 あ 」 の 場合 は 頭 を 上 げ る 動作 が 多かっ 
た 。「 へ 」 の 場合 は 、 賃 き 動作 が 最も 多く 、 和 驚き と 感心 や 同情 の 表現 が 伴う こと が 原因 と 
考え られ る 。 

【0037】 

以上 の 分 析 の 結果 、 和 驚き 表現 の 種類 、 度 合 、 及 び 形 態 素 に よっ て も 、 生 成す べき 動作 が 
異な る こと が 明らか と な っ た 。 
【0038】 

さら に 、 驚 き 表 現に お いて 重要 な の は 、 各 動作 に つい て 、 和 発話 と 自然 な 形 で 同期 する よ 
う 、 動 作 の 開始 及び 戻り の タイ ミン グ を コン トロ ー ル する こと で ある 。 そ の た め の 驚 き 発 
話 の 分 析 結 果 に つい て 以下 に 説明 する 。 

【0039】 

眉毛 及び 胴 部 の 開始 及び 戻り に 要する 時 間 を 、「 え 」 及び 「 あ 」 と いう 感動 詞 に つい て 
測定 し た 。 結果 を 図 7 に 示す 。 図 7 に は 、 眉毛 の 引き 上 げ と 戻り の 時 間 に つ いて 、2 つの 
レベ ル に つい て 測定 し た 結果 の 平均 と 標準 偏差 と を 示す 。 レ ベル 1 の 開始 に 要する 時 間 ( 
開始 時 間 ) は 「 開始 1 」、 戻 り は 「 戻り 1 」 で 示し 、 レ ベル 2 の 開始 時 間 を 「 開始 2 」、 
戻り 時 間 を 「 戻り 2 」 に より 示す 。 

【0040]】] 

図 7 か ら 明 ら か な 様 に 、 い ずれ の レベ ル で も 開始 時 間 の 方 が 戻り に 要する 時 間 よ り 短 い 
。 開始 時 間 の 平均 は 2 00 か ら 300 ミ リ 秒 、 戻 り 時 間 の 平均 は 400 か ら 500 ミ リ 秒 
で ある 。 レ ベル 2 は レベ ル 1 より 多少 時 間 が 長く な っ て いる が 、 動 く 距 離 が 長い た めで あ 
る 。 レ ベル 2 に お ける 戻り 時 間 の 標準 偏差 は レ し ベル 1 の 戻り 時 間 の 標準 偏差 より は る か に 
大 きい が 、 こ れ は 眉毛 が 通常 の 位置 に 戻る の に 1 秒 か ら 2 秒 を 要する た めで ある 。 ア ンド 
ロイ ド に よる 驚き 動作 で も これ と 同様 の 制御 を する こと が 望ま し い 。 これら の 制御 を する 
た め の 時 間 を 、 図 7 に 示す よう な 標準 偏差 に 基づい て 変化 させ る 様 に し て も よい 。 こ れ は 
内 の 開 大 に 対し て も 当て は まる 。 

【0041]】 

図 8 は 、 上 半身 反り 動作 に お ける 開始 及び 戻り に 要する 時 間 の 平均 と 標準 偏差 と を レベ 
ル 1 及び レベ ル 2 の 双方 に つい て 示し た も の で ある 。 上 半身 に つい て は 、 開始 時 間 及 び 戻 
り 時 間 が レベ ル 1 で は いずれ も 0 . 8 秒 程度 、 レ ベル 2 で は それ ぞ れ 1 . 2 秒 及 び 1 . 5 
秒 で あっ た 。 ア ンド ロイ ド に よる 驚き 動作 で も これ と 同様 の 制御 を する こと が 望ま し い 。 
この 時 間 を ば ら つ か せる 様 に し て も よい こと は 眉毛 の 引き 上 げ の 場合 と 同様 で ある 。 
【0042】 

図 9 は 各 動 作 タ イプ に つい て 、 動作 と 和 驚き 発話 と の 間 の 時 間 差 を 示す 。「 開始 」 は 動作 
の 開始 時 刻 と 発話 の 開始 時 刻 と の 間 の 差 を 示す 。「 終了 」 は 動作 の 終了 時 刻 と 驚き 発話 の 
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終了 時 刻 と の 間 の 差 を 示す 。 こ の 結果 か ら 、 眉毛 、 頭 部 、 及 び 上 半身 の 動作 の 開始 時 刻 と 
、 驚き 発話 の 開始 時 刻 と の 差 は ほぼ ば - 0 . 1 秒 ~0. 1 秒 の 間 で ある こと が 分 か っ た 。 即 
ち 、 通 常 、 驚 き に 伴う 動作 は 驚き 発話 と ほぼ 同期 し て いる 。 こ れ に 対し 、 終 了 時 刻 の 差 に 
つい て は 、 よ り ば ら つ いて いる が 大 部 分 が プラ ス で ある こと が 分 か っ た 。 すなわち 、 和 驚 き 
動作 の 後に 体 が 通常 の 中 立 状 態 の 位置 に 戻る の は 、 驚 き 発 話 が 終わ っ て か ら と いう こと で 
ある 。 

【0043】 

[ アン ドロ イド ロボ ッ ト に お ける 動作 生成 ] 

本 実施 の 形態 で は 、 驚 き 発 話 の 持続 時 間 が 所 与 の も の で ある と し て 、 種 々 の 和 驚き 度合 い 
に つい て 種々 の 盤 き 動作 を 制御 する 場合 の 効果 に つい て 検討 し た 。 分 析 の 結果 、 発 明 者 は 
、 以 下 の 4 つの 要件 を 考慮 し た 動作 生成 方 法 を 提案 する 。 すなわち 、 表 情 制御 ( 具 の 開 大 
を 伴う 眉毛 の 引き 上 げ ) 、 頭 部 動作 制御 ( 頭 部 の ピッ チ 方 向 ) 、 及 び 上 半身 動作 制御 ( ト 
ル ソ の ピッ チチ 方向) で ある 。 

【0044】 

く ア ンド ロイ ド の アク チュ エー タ と 制御 方 法 > 

本 実施 の 形態 で 制御 対象 と な る の は 女性 の アン ドロ イド で あり 、 こ の アン ドロ イド を 用 
いて 驚き 発話 に 伴う 動作 を 評価 し た 。 ア ンド ロイ ド は 、 人 遠隔 の 話 者 か ら 送 られ て くる 音声 
信号 に 応じ て 、 ア ンド ロイ ド の 前 に いる 相手 と 対話 する こと が 想定 され て いる 。 アンドロ 

イド の 発声 する 音声 は 、 遠 隔 の 話 者 か ら 送 られ て くる 音声 を 再生 し た も の で も よい し 、 別 
の 音声 に 変換 し た も の で も よい 。 

【0045】 

図 1 0 に 、 こ の アン ドロ イド の 上 体 の 動作 を 制御 する アク チュ エー タ の 配置 を 示す 。 図 
に 示す 様 に 、 こ の アン ドロ イド の 上 半身 に 設け られ た アク チュ エー タ は 全部 で 1 9 個 で あ 
る 。 図 10 に は アク チュ エー タ 1 一 1 1 、1 3 て 1 9 を 示し て ある 。 ア クチ ュ エ ー タ 1 2 
は 舌 の 動き を 制御 する も の で あり 、 図 1 0 に は 示し て いな い 。 ま た ア 0 タ 1 7 は 
肩 の 動き の た め の も の で あり 、 本 実施 の 形態 に よる 人 驚き 動作 制御 に は 関与 し な い 。 す な わ 
ち 、 こ れ ら の うち 、 ア クチ ュ エ ー タ 1 ~16、18 及び 19 が 驚き 動作 に お ける 制御 の 対 
象 と な る 。 

【0046】 

表情 制御 に は アク チュ エー タ 1 ~1 3 が 関与 し 、 頭 部 動作 制御 に は アク チュ エー タ 1 4 
> と 1 6 が 関与 し 、 上 半身 制御 に は アク チュ エー タ 1 8 及び 1 9 が 関与 する 。 す な わ ち 、 表 
情 制 御 の 自由 度 は 1 3 、 頭 部 動作 の 自由 度 は 3 、 上 半身 制御 の 自由 度 は 2 で ある 。 
[0047]】 

驚き 動作 に 関与 する アク チュ エー タ は 以下 の と お り で ある 。 

【0048】 

上 険 制御 ( アク チュ エー タ 1 ) 

下 具 制御 ( アク チュ エー タ 5 ) 

眉毛 引き 上 げ 制 御 ( ア クチ ュ エ ー タ 6 ) 

口角 引き 上 げ 制 御 ( アク チュ エー タ 8 。 ほ ほ も 同時 に 引き 上 げ ら れる 。 ) 

口角 伸長 制御 (アク チュ エー タ 1 0 ) 

顎 部 引き 下げ 制御 (アク チュ エー タ 1 3 ) 

頭 部 ピッ チ 制 御 ( ア クチ ュ エ ー タ 15) 

上 半身 ピッ チ 制 御 ( アク チュ エー タ 1 8) 

全て の アク チュ エー タ に つい て 、 コ マン ド 値 は O0~ て 255 の 範囲 で 与え られ る 。 な お 、 
0 アク チュ エー タ の 状態 ( 位置) に つい て は 、 そ の コマ ンド 値 を 用 いて 表 
し 、 アク チュ エー タ 値 」 と 呼ぶ こと が ある 。 

A 

- 眉毛 及び 具 の 動作 制御 - 

驚き 動作 に お ける 顔 の 表情 に つい て 、 帳 毛 の 引き 上 げ と 有 具 の 開 大 は 、 人 驚き の 2 つの レベ 
ル に し た が っ て 互い に 協 働 する よう 制御 され る 。 眉毛 の アク チュ エー タ 6 の 位置 は レベ ル 
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1 に つい て は 1 2 7 、 レ ベル 2 に つい て は 255 と し 、 上 陰 及 び 下 上 険 の アク チュ エー タ 1 
及び 5 に つい て の 目標 値 は レベ ル 1 に つい て は それ ぞ れ 8 0 及び 6 0 , レベ ル 2 に つい て 
は それ ぞ れ 4 0 及び 3 0 と する 。 中 立 状態 の 位置 ( レベ ル 0O に 対応 ) に お ける 顔 表 情 に つ 
いて は 、 ア クチ ュ エ ー タ 6 、1 、5 の 位置 は それ ぞ れ 0 、90 及び 80 で ある 。 こ れ ら の 
値 は 、 ア ンド ロイ ドロ ボッ ト の 顔 の 表情 を 見 な が ら 手 動 に より 設定 し た 。 こ の 設定 に より 
、 レ ベル 1 に つい て は 少し 驚い た 表情 、 レ ベル 2 に つい て は 明らか な 驚き の 表情 が 得 ら れ 
7 だ る 

[0050]】] 

図 11 に 、 こ れ ら に 対応 する アン ドロ イド の 顔 の 写真 を 示す 。 図 11( A) は 中 立 状態 
、(B) は レベ ル 1 の 驚き の 表情 、(C) は レベ ル 2 の 人 驚き の 表情 で ある 。 

【0051]】 

上 記し た 分 析 結 果 に し た が い 、 具 及 び 眉 毛 の アク チュ エー タ 1 、5 及び 6 に 対し て は 、 
驚き 発話 の 開始 と 同時 に 、 各 レベ ル に 応じ た 値 を 送信 し 、 和 驚き 発話 が 終了 し て か ら 0 . 5 
秒 経 過す る まで に 、 滑 ら か に 中 立 状 態 の 位置 に 戻る よう コサイン 関数 に より コマ ンド を 生 
成す る 。 ま た 、 上 記 分 析 に 伴い 、 顔 の 表情 が 中 立 状 態 に 戻っ た と き に 瞬き が 発生 する こと 
が 多い と いう こと が 判明 し た の で 、 本 実施 の 形態 で も 、 顔 の 表情 を 中 立 状 態 に 戻し た と き 
に 目 を 短 時 間 (100 ミ リ 秒 ) 閉じ て 中 立 状 態 に 戻す こと で 瞬き を 実現 し た 。 具体 的 に は 
、 ア クチ ュ エ ー タ 1 及び 5 に コマ ンド 255 を 送っ て 100 ミ リ 秒 の 間 目 を 閉じ させ 、 そ 
の 後に それ ぞ れ コマ ンド 90 及 び 8 0 を 送っ て 中 立 状態 の 位置 に 戻す 様 に し た 。 

3 . 1 . 2 上 半身 動作 制御 

上 半身 動作 制御 に 関し 、 本 実施 の 形態 で は 以下 の 式 ( 1 ) に 示さ れる 様 に 、 コ サイ ン 関 
数 に し た が っ て 上 半身 を 後方 に 動か す 。 式 ( 1 ) に お いて 「 act[18][tl」 は 、 ア クチ ュ エ 
ー タ 1 8 に 対し て 時 刻 t 秒 に 送信 され る コマ ンド を 表す 。 


【0052】 
【 数 1 】 
上 oz | 
ee] 還 =32+ (pog。。 32)* ーー Q①) 


式 ( 1 ) に お いて t starr は 驚き 動作 の 開始 時 刻 、 す な わ ち 驚き 発話 の 開始 時 刻 で あり 、 

T onsee は 驚き 動作 の 開始 動作 の 持続 時 間 で ある 。 ま た upbodytareec は 驚き 動作 に 伴う 上 
半身 の 反り 量 の 最大 値 を 示す 。 式 中 の 「32」 と いう 値 は アン ドロ イド の 中 立 状 態 の 姿勢 
に お ける アク チュ エー タ 1 8 の 位置 で ある 。 式 (1 ) に し た が っ て 驚き 動作 を 行わ せる こ 
と に より 、 所 与 の 時 間 T。。。。。 に アン ドロ イド の 上 半身 の 反り 量 を 滑ら か に 所 与 の 最大 値 up 
bodyiargs に 到達 させ る こと が で きる 。 

【0053】 

upbodyrarss の 値 は 、 本 実施 の 形態 で は 、 レ ベル 1 に つい て は 1 6 、 レ ベル 2 に つい て 
は 0 で ある 。 た だ し 、 本 実施 の 形態 で は 、 ア クチ ュ エ ー タ 値 が 小さ い 程 上 半身 が 後ろ 側 に 
反 る 設定 で ある 。 も ちろ ん 、 こ れ ら の 値 は 設計 に より 、 使 用 する アク チュ エー タ に より 、 
それ ぞ れ 変え る こと が で きる 。 

【0054】 

驚き 発話 の 終了 時 刻 か ら 、 上 体 を 次 の 式 ( 2 ) に 示す 様 に コサイン 関数 に し た が っ て 中 
立 状 態 の 位置 に 戻す 。 


【0055】 
【 数 2 】 
ez = | 
acthslkl=32 + (upbody,, —32)* ai 2) 


式 ( 2 ) に お いて updobyena 及 び ter は それ ぞ れ 、 和 驚き 発話 の 終了 時 に お ける アク チュ エ 
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ー タ 1 8 の 値 及 び 時 刻 で ある 。 し た が っ て 、 人 驚き 発話 の 発話 区 間 が Tonse よ り も 短い と 、 
上 半身 の 反り 量 は 最大 値 ま で 達し な い 。 
【0056】 

上 記し た 分 析 の 結果 、 本 実施 の 形態 に お ける 人 驚き 動作 に お いて 、 動 作 の 開始 か ら 最 大 値 
に 到達 する まで の 持続 時 間 は 0. 8 秒 に 設定 し た 。 驚き 発話 の 終了 時 か ら 中 立 状 態 の 位置 
に 戻る まで の 時 間 T。rr。。。 は 1 . 5 秒 に 設定 し た 。 

【0057】 

- 頭 部 動作 制御 - 

頭 部 動作 に 関し 、 本 実施 の 形態 で は 、 頭 部 の ピッ チ を 音声 ピッ チ ( 基本 周波 数 F 0 ) に 
より 制御 する 方 法 を 採用 し た 。 実際 の 人 間 が この よう な 頭 部 動作 を し て いる わけ で は な い 
が 、 笑 い に 関 する 同様 の 研究 か ら 、 こ の よう な 制御 を し て も 自然 な 頭 部 動作 を 実現 で きる 
こと が 判明 し て いる た め 、 本 実施 の 形態 で も 同様 の 制御 を 行う こと と し た 。 通常 、 和 驚い た 
と き に は 、 人 間 は 高い F 0 の 音声 を 発生 し て 頭 を 上 に 動か し て 顔 を 上 に 向け 、 又 は 上 に 向 
けた 後に 下 に 向け る 動作 を する こと が 多い た めで ある 。 本 実施 の 形態 で は 、 こ の F 0O の 値 
を 頭 部 ピッ チア クチ ュ エ ー タ 1 5 へ の コマ ンド 値 に 変換 する た め に 、 以 下 の 式 (3) を 用 
いる 。 

【0058】 
【 数 3 】 


acts]k]=128 + (ole] - center _F0)* FO0_ scale (3 


式 (3) に お いて 、c enter FO は 発話 者 の 平均 FO の 値 ( 男 性 は 約 1 20Hz、 
女性 は 約 240Hz ) で あっ て 、 半 音 単 位 に 変換 され た も の で あり 、FO は 現在 の F 0 の 
値 ( 半音 値 ) で あり 、F0 scal e は FO の 変化 を 頭 部 の ピッ チ 動 作 に マッ ピン グ す 
る た め の ス ケー ルフ ァ ク タ で ある 。 本 実施 の 形態 で は 、F0O _ scal e は 音声 ピッ チ の 
1 半音 の 変化 が 頭 部 の ピッ チ 方 向 の 回 転 の 1 度 に ほぼ 対応 する 様 に 設定 し た 。 
【0059】 

予備 実験 か ら 、 和 驚き 発話 の 際 に 上 半身 が 後方 に そっ た と き の 顔 が 上 を 向く と 不 自 然 に 感 
じ ら れ る こと が 分 か っ た 。 ま た 、 観 察 に より 、 通 常 の 話 者 で は そう し た 場合 で も 顔 を 対話 
の 相手 方 に 向け て いる こと が 分 か っ た 。 そのため 、 頭 部 ピッ チア クチ ュ エ ー タ 15 に つい 
て 、 上 半身 の 後方 へ の 反り 動作 の 際 に 、 逆 方 向 の 動き を 加え る 制御 を 行う こと に し た 。 そ 
の た め 、 コ マン ド 値 は 以下 の 式 ( 4 ) に より 計算 し て いる 。 
【0060】 
【 数 4 】 


aciis]li]= ze 和 HS] 困 - 2- AH8] 困 ) (act[18][t1<32 の と き ) (4 


衝 


- 口 唇 動作 制御 - 

有声 で 発話 され な い 稀 き 表現 で は 、 額 部 を 下げ る べき で ある 。 し か し 、 有 声 で 発話 され 
る 驚き 表現 で は 、 口 辱 の 動き と 、 そ れ に 続く 額 部 の 動き は 、 と も に 発話 内 容 と 同期 すべ き 
で ある 。 本 実施 の 形態 で は 、 口 唇 動作 は 特 開 2012- 173389 号 公報 に お いて 提案 
され た 、 フ ォ ル マン ト に 基づく 口唇 動作 制御 方 法 を 採用 し た 。 こ の 様 に する こと で 、 種 々 
の 母音 音質 を 持つ 有声 の 驚き 発話 部 分 (「 え 一 」、「 あ ーー」 等 ) に お ける 適切 な 口唇 形状 
を 生成 で きる 。 こ の 方 法 は 母音 の フォ ルマン ト を 元 に し て いる た めで ある 。 顎 部 アク チュ 
エー タ ( アク チュ エー タ 1 3 ) は この 様 に し て 推定 され た 口唇 の 高 さ を 用 いて 制御 する 。 
【0061】 

[ 構成 ] 

以上 、 制 御 の 細部 に つい て 説明 し た 本 実施 の 形態 に 係る 驚き 動作 の 生成 装置 は 以下 の よ 
うな 構成 を 有する 。 図 1 2 を 参照 し て 、 こ の 実施 の 形態 に 係る 驚き 動作 生成 装置 2 0 0 は 
音声 信号 202 を 受け て 、 発 話 の 内 容 、 韻 律 、 及 び 声 質 に 基づい て 驚き 区 間 を 検出 し 、 そ 
の 開始 と 終了 と を 少な く と も 示す 和敬 き 区 間 信 号 を 生成 し 出力 する た め の 人 般 き 区 間 信 号 生 成 
部 210 と 、 音 声 信 号 202 か ら フ ォ ル マン ト を 抽出 し フォ ルマン ト の 値 を 示す 信号 を 出 
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力 す る フォ ルマン ト 抽出 部 2 1 2 と 、 フ ォ ル マン ト 抽出 部 2 1 2 の 出力 する 信号 に 基づい 
て 驚き 区 間 中 の 口唇 動作 の た め の ア クチ ュ エ ー タ 群 ( 図示 せ ず ) を 制御 する た め の 口 辱 動 
作 制 御 部 2 1 4 と を 含む 。 遠隔 の 話 者 の 音声 に 基づい て 、 そ の 話 者 の 驚き 状態 を 検出 し 、 
その 驚き 状態 に 応じ 、 実 際 の 人 間 に 近 い 自 然 な 動き で アン ドロ イド の 表情 、 頭 部 、 及 び 上 
半身 を 制御 する 。 

【0062】 

本 実施 の 形態 で は 、 ア ンド ロイ ド の 状態 ( 眉毛 の 位置 及び 上 の 開 大 量 、 頭 部 の 位置 及び 
上 半身 の 状態 ) は 、 中 立 状 態 、 第 1 の レベ ル の 驚き 状態 、 第 2 の レベ ル の 驚き 状態 に 制御 
可能 で ある 。 それ ら 状 態 は 、 各 部 を 動作 させ る アク チュ エー タ へ の コマ ンド 値 を それ ぞ れ 
所 定 の 値 に 制御 する こと に より 実現 で きる 。 

【0063】 

な お 、 以 下 の 説 明か ら 明 ら か な 様 に 、 第 2 の レベ ル の 驚き 状態 に お ける 各部 の 、 中 立 状 
態 に お ける 位置 か ら の 離間 量 は 、 第 1 の レベ ル の 驚き 状態 に お ける 離間 量 よ り も 大 きい 。 
また 、 本 実施 の 形態 で は 、 各 部 を 第 1 又は 第 2 の レベ ル の 驚き 状態 か ら 中 立 状態 に 戻す の 
に 要する 時 間 が 、 中 立 状 態 か ら 第 1 又は 第 2 の レベ ル の 驚き 状態 に 変化 させ る の に 要する 
時 間 よ り も 長く な る 様 に アク チュ エー タ を 制御 する 。 以下 の 実施 の 形態 で は 表情 、 頭 部 、 
及び 上 半身 の いずれ も 、 第 1 及び 第 2 の レベ ル の 和 驚き 状態 と で 互い に 異な る 動作 を し て い 
る 。 し か し 、 こ れ ら が いずれ も その よう な 動作 を する 必要 は な い 。 表情 、 頭 部 、 及 び 上 半 
身 の 任 意 の 組み 合わ せ に つい て 、 第 1 及び 第 2 の レベ ル の 驚き 状態 に よっ て 制御 を 異な ら 
せる 様 に し 、 残り の 部 分 に つい て は 同じ 制御 を 行う 様 に し て も よい 。 

【0064】 

フォ ルマン ト 抽 出 部 21 2 と し て は 、 上 述 の 通り 特 開 2012-173389 号 公報 に 
開示 され た 口唇 動作 パラ メー タ 生 成 装置 と 同様 の 構成 を 採用 すれ ば 良い 。 
【0065】 

驚き 区 間 信 号 生 成 部 21 0 は 、 音 声 信号 2 0 2 に 対し て 発話 内 容 の 音声 認識 を 行い 、 認 
識 結 果 で ある 発話 内 容 の テキ スト を 出力 する 音声 認識 装置 26 0 と 、 音 声 信号 2 0 2 か ら 
音声 の 韻律 及び 声質 特徴 を 抽出 する た め の 韻 律 ・ 声質 特 徴 抽 出 部 26 2 と 、 音 声 認識 装置 
2 6 0 か ら 出 力 さ れる 発話 内 容 の テキ スト と 、 韻律 ・ 声 質 特徴 抽出 部 2 6 2 が 出力 する 韻 
律 ・ 声質 特徴 と を 用 いて 発話 中 の 驚 き 区 間 の 開始 及び 終了 位置 、 並 びに 驚 き の レ ベル (1 
、2 ) を 検出 し 、 驚 き 区 間 信号 を 出力 する た め の 和 驚き 区 間 検 出 部 26 4 と を 含む 。 韻律 ・ 
声質 特徴 抽出 部 2 6 2 が 抽出 する 特徴 は 、F 0 、 規 則 性 、 及 び 力 み 等 で ある 。 驚き 区 間 検 
出 部 264 と し て は 、 例 えば 特 開 2010-217502 号 公報 に 開示 され た 発話 意図 情 
報 検出 の 方 法 を 採用 すれ ば よい 。 

【0066】 

区 き 動作 生成 装置 2 0 0 は さら に 、 驚 き 区 間 検 出 部 26 4 が 出力 する 驚き 区 間 検 出 信号 
に 応答 し て 、 ア ンド ロイ ド の 表情 を 制御 する 信号 を 生成 する た め の 表 情 制御 部 21 6 を 含 
む 。 

【0067】 

表情 制御 部 21 6 は 、 和 驚き 区 間 信号 に 応答 し て 、 そ の 開始 時 刻 及 び 終 了 時 刻 を トリ ガー 
に アン ドロ イド の 眉毛 の 動作 を させ る た め の ア クチ ュ エ ー タ 信号 を 生成 し 、 眉 毛 に 関す る 
アク チュ エー タ 群 22 4 ( アク チュ エー タ 6 ) に 出力 する た め の 眉 毛 引 き 上 げ 動 作 制 御 部 
280 と 、 和 驚き 区 間 信 号 に 応答 し て 、 そ の 開始 時 刻 及 び 終 了 時 刻 を トリ ガー に 、 肉 に 開 大 
動作 を させ る た め の ア クチ ュ エ ー タ 信号 を 生成 し 、 具 の 動作 を 制御 する アク チュ エー タ 群 
226 (アク チュ エー タ 1 及び 5 ) に 出力 する た め の 了 上 開 大 動作 制御 部 2 8 2 と を 含む 。 
本 実施 の 形態 で は 、 第 1 の レベ ル の 驚き 状態 に お ける 眉毛 の 引き 上 げ 量 より も 、 第 2 の レ 
ベル の 驚き 状態 に お ける 引き 上 げ 量 の 方 が 大 きく な る 様 に 制御 を 行う 。 具 の 開 大 量 も 同様 
で ある 。 

【0068】 

驚き 動作 生成 装置 2 0 0 は さら に 、 和 驚き 区 間 の 終了 時 、 人 驚き 動作 か ら 中立 状 態 の 位置 に 
アァ アン ドロ イド の 姿勢 等 が 戻っ た と き に アン ドロ イド に 瞬き を させ る た め の ア クチ ュ エ ー タ 
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信号 を 生成 し 、 具 の 動作 を 制御 する アク チュ エー タ 群 2 2 6 に 出力 する 瞬き 制御 部 2 1 8 
と 、 和 驚き 区 間 検 出 部 2 6 4 が 出力 する 驚き 区 間 信 号 に 応答 し て 、 韻 律 ・ 声 質 特徴 抽出 部 2 
6 2 が 出力 する 韻律 ・ 声 質 特徴 と 驚き 区 間 信 号 に より 示さ れる 驚き 区 間 の 開始 及び 終了 に 
基づい て それ ぞ れ 驚き 動作 の 開始 及び 終了 時 の 頭 部 の 動作 を 制御 する コマ ンド を 生成 し 、 
頭 部 動作 に 関す る アク チュ エー タ 群 228( アク チュ エー タ 15 ) に 対し て 出力 する 頭 部 
動作 制御 部 220 と 、 和 驚き 区 間 検 出 部 2 6 4 が 出力 する 驚き 区 間 信 号 に 応答 し て 、 韻 律 ・ 
声質 特徴 抽出 部 2 6 2 が 出力 する 韻律 ・ 声 質 特徴 と 驚き 区 間 信 号 に より 示さ れる 驚き 区 間 
の 開始 及び 終了 に 基づい て それ ぞ れ 驚き 動作 の 開始 及び 終了 時 の 上 半身 の 動作 を 制御 する 
コマ ンド を 生成 し 、 腰 部 アク チュ エー タ 群 2 3 0 に 出力 する 上 半身 動作 制御 部 2 2 2 と を 
含む 。 

【0069】 

本 実施 の 形態 で は 、 頭 部 ピッ チ の 変化 量 ( 動き 角度 ) 及び 上 半身 の 反り 量 の 何れ も 、 第 
1 の レベ ル の 驚き 状態 に お ける 値 よ り 第 2 の レベ ル の 驚き 状態 に お ける 方 が 大 きく な る 様 
に 制御 され る 。 な お 、 人 驚き の 開始 時 と 終了 時 と に お ける 各部 の 動作 は で きる だ け 滑 ら か に 
する こと が 望ま し い 。 そ の た め に 、 例 えば 式 ( 1 ) 及び ( 2 ) に 示す よう な 式 で 位置 を 制 
御 す る こと が 望ま し い 。 

【0070】 

[ 動作 ] 

遠隔 か ら 送信 され て きた 話 者 の 音声 信号 202 が 与え られ る と 、 和 驚き 動作 生成 装置 2 0 
0 は 以下 の 様 に 動作 する 。 音声 認識 装置 2 6 0 は 音声 信号 2 0 2 に 対す る 音声 認識 を 行い 
、 発話 内 容 の テキ スト を 驚き 区 間 検 出 部 26 4 に 出力 する 。 韻律 ・ 声質 特徴 抽出 部 2 6 2 
は 、 音 声 信 号 20 2 か ら 発話 音 声 の 韻律 及び 声質 特徴 を 抽出 し 、 和 驚き 区 間 検 出 部 2 6 4 に 
与え る 。 驚き 区 間 検 出 部 26 4 は 、 発 話 内 容 の テキ スト 及び 韻律 及び 声質 特徴 に 基づい て 
遠隔 の 話 者 の 驚き 状態 を 反映 し た 驚き 区 間 と 驚き レベ ル と を 検出 し 、 少 な く と も その 開始 
時 刻 及 び 終 了 時 刻 と 驚き レベ ル と を 特定 する 驚き 区 間 信 号 を 生成 し て 、 眉 毛 引 き 上 げ 動 作 
制御 部 280、 具 開 大 動作 制御 部 28 2 、 瞬 き 制御 部 218、 頭 部 動作 制御 部 2 2 0 及び 
上 半身 動作 制御 部 2 2 2 に 与え る 。 

【0071】 

眉毛 引き 上 げ 動 作 制 御 部 2 80 及び 有 具 開 大 動作 制御 部 2 8 2 は 、 和 驚き 発話 の 開始 と 同時 
に 、 各 驚き レベ ル に 応じ た 値 を アク チュ エー タ 群 22 4 及び 2 2 6 に それ ぞ れ 送信 し 、 和 驚 
き 発 話 が 終了 し て か ら 0 . 5 秒 経過 する まで に 、 滑 ら か に 中 立 状態 の 位置 に 戻る よう コ サ 
イン 関数 に より コマ ンド を 生成 し アク チュ エー タ 群 224 及び 226 に それ ぞ れ 送信 する 
【0072】 

瞬き 制御 部 218 は 、 和 驚き 区 間 の 終了 時 、 驚 き 動 作 か ら 中立 状 態 の 位置 に アン ドロ イド 
の 姿勢 等 が 戻っ た と き に アン ドロ イド に 瞬き を させ る た め の ア クチ ュ エ ー タ 信号 を 生成 し 
、 ア クチ ュ エ ー タ 群 226 に 与え る 。 具体 的 に は 、 ア クチ ュ エ ー タ 1 及び 5 に コマ ンド 2 
5 5 を 送っ て 1 00 ミ リ 秒 の 間 、 具 を 閉じ させ 、 そ の 後に それ ぞ れ コマ ンド 90 及 び 80 
を 送っ て 具 を 中 立 状態 の 位置 に 戻す すす と に より アン ドロ イド に 瞬き を 行わ せる 。 
[0073]】 

頭 部 動作 制御 部 2 20 は 、 和 驚き 区 間 信 号 に 応答 し て 、 韻 律 ・ 声 質 特 徴 抽 出 部 2 6 2 か ら 
の 韻律 ・ 声質 特徴 を 用 いて 頭 部 の 動作 を 制御 する 。 具体 的 に は 、 頭 部 動作 制御 部 2 2 0 は 
、 和 驚き 区 間 の 開始 時 に は 、 韻 律 ・ 声質 特徴 抽出 部 26 2 か ら 与え られ る F 0 を 式 ( 3 ) 及 
び 式 ( 4 ) を 用 いて 頭 部 動作 の た め の コ マン ド 値 を 算出 し 、 ア クチ ュ エ ー タ 1 5 に 対し て 
出力 する 。 た だ し 式 ( 4 ) に よる 変換 を 行う の は 、 上 半身 動作 制御 部 2 2 2 か ら 上 半身 の 
動作 の た め の ア クチ ュ エ ー タ 群 230( ア クチ ュ エ ー タ 18) に 与え られ る コマ ンド が 3 
2 より 小さ いと きだ け で ある 。 

【0074】 

上 半身 動作 制御 部 2 2 2 は 、 驚 き 区 間 信 号 に 応答 し 、 驚 き 区 間 の 開始 時 に は 式 ( 1 ) に 

し た が っ て 驚き レベ ル に 応じ た コマ ンド を 生成 し アク チュ エー タ 和 群 230 に 与え る 。 ま た 
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上 半身 動作 制御 部 2 2 2 は 、 驚 き 区 間 の 終了 時 に は 式 ( 2 ) に し た が っ て 驚き レベ ル に 応 
じ た コ マン ド を 生成 し アク チュ エー タ 群 23 0 に 与え て 上 半身 を 中 立 状態 の 位置 に 戻す 。 
[0075]】] 

一 方 、 フ ォ ル マン ト 抽出 部 2 1 2 は 驚き 区 間 信 号 生 成 部 210 か ら フ ォ ル マン ト を 抽出 
し 口唇 動作 制御 部 2 1 4 に 与え る 。 口唇 動作 制御 部 21 4 は フォ ルマン ト に 基づく 口唇 動 
作 制 御方 法 に し た が い 、 種 々 の 母音 音質 を 持つ 有声 の 驚き 発話 部 分 に 応じ た 適切 な 口唇 形 
状 を 生成 する た め の コ マン ド を 生成 し 、 口 唇 動作 を 行う アク チュ エー タ 1 3 に 与え て 口唇 
及び 顎 部 を 動作 させ る 。 口唇 動作 制御 部 2 1 4 は 驚き 信号 と は 無関係 に 動作 する が 、 こ の 
様 に フォ ルマン ト に 基づい て 口唇 動作 を 制御 し て も 、 音 声 の 声質 等 に 応じ て 驚き 区 間 で も 
適切 な 口唇 動作 を 実現 で きる 。 

【0076】 

[ コン ピュ ー タ に よる 実現 ] 

図 1 3 は 、 ア ンド ロイ ド を 制御 する 装置 の 典型 例 の 構成 を 示す 。 こ の 実施 の 形態 で は 、 
制御 装置 63 0 は コン ピュ ー タ 640 か ら な り 、 こ の コン ピュ ー タ 640 を アン ドロ イド 
の 各部 と 接続 する こと で アン ドロ イド の 動作 を 制御 する 。 図 1 3 を 参照 し て 、 制 御 装置 6 
30 は 、 メ モリ ポー ト 652 及 び 入 出力 イン ター フェ イス (人 入 出力 | / ン F ) 6 50 を 有 す 
る コン ピュ ー タ 640 と 、 い ずれ も コン ピュ ー タ 640 に 接続 され た キー ボー ド 646 と 
、 マ ウス 648 と 、 モ ニタ 642 と を 含む お 。 コ ンピュータ 640 は 。 和 入出 力 ! /F'6@5 60 
を 介し て アン ドロ イド の 各部 と 接続 され て いる 。 

[0077】 

コン ピュ ー タ 640 は さら に 、CPU( 中 央 処理 装置 ) 656 と 、CPU656、 メ モ 
リポ ー ト 652 及 び 入 出力 | プ F650 に 接続 され た バス 666 と 、 起 動 プ ログ ラム 等 を 
記憶 する 読出 専用 メモ リ ( ROM) 658 と 、 バ ス 666 に 接続 され 、 上 記 賃 き 生 成 装置 
1 5 0 の 各部 の 機能 を 実現 する プロ グラ ム 命 令 、 シス テム プロ グラ ム 及 び 作 業 デ ー タ 等 を 
プロ グラ ム の 実行 時 に 記憶 する ラン ダム アク セス メモ リ ( RAM) 660 と 、 ハ ー ド ディ 
スク 6 5 4 を 含む お 。 コ ンピュータ 6 4 0 は さら に 、 他 端末 と の 通信 を 可能 と する ネッ トワ 
ー ク 6 6 8 へ の 接続 を 提供 する ネッ トワ ー ク イン ター フェ イス (| ン /F ) 6 4 4 を 含む 。 
【0078】 

制御 装置 63 0 を 上 記し た 実施 の 形態 に 係る アン ドロ イド の 制御 装置 と し て 機能 させ る 
た め の コ ンピュータ プロ グラ ム は 、 メ モリ ポー ト 652 に 装着 され る リム ー バ ブル メモ リ 
664 、 又は 入出 力 | ププ F650 に 接続 され る 図示 し な い 外 部 記憶 装置 に 記憶 され 、 さ ら 
に ハー ド デ ィ スク 6 5 4 に 転送 され る 。 又は 、 プ ログ ラム は ネッ トワ ー ク 668 を 通じ て 
コン ピュ ー タ 6 4 0 に 送信 され ハー ド デ ィ スク 6 54 に 記憶 され て も よい 。 プ ログ ラム は 
実行 の 際 に R AM6 6 0 に ロー ド さ れる 。 図示 し な い 外 部 記憶 装置 か ら 、 リ ムー バブ ル メ 
モリ 6 6 4 か ら 又 は ネッ トワ ー ク 668 を 介し て 、 直 接 に RAM660 に プロ グラ ム を ロ 
ー ド し て も よい 。 

[0079]】] 

この プロ グラ ム は 、 コ ンピュータ 640 を 、 上 記 実 施 の 形態 に 係る アン ドロ イド の 制御 
装置 の 各 機 能 部 と し て 機能 させ る た め の 複 数 の 命令 か ら な る 命令 列 を 含む コンピュータ 
6 40 に この 動作 を 行わ せる の に 必要 な 基本 的 機能 の いく つか は コン ピュ ー タ 6 4 0 上 で 
動作 する オペ レー ティ ング シス テム 若しくは サー ド パ ー テ ィ の プロ グラ ム 又 は コン ピュ ー 
タ 6 4 0 に イン スト ー ル され る 、 ダ イナ ミッ クリ ンク 可能 な 各種 プロ グラ ミン グ ツ ー ル キ 
ッ ト 又 は プロ グラ ムラ イブ ラリ に より 提供 され る 。 し た が っ て 、 こ の プロ グラ ム 自 体 は こ 
の 実施 の 形態 の シス テム 、 装置 及び 方 法 を 実現 する の に 必要 な 機能 全て を 必ず し も 含ま な 
く て よい 。 こ の プロ グラ ム は 、 命 令 の うち 、 所 望 の 結果 が 得 ら れる 様 に 制御 され た や り 方 
で 適切 な 機能 又は プロ グラ ミン グ ツ ー ル キッ ト 又 は プロ グラ ムラ イブ ラリ 内 の 適切 な プロ 
グラ ム を 実行 時 に 動 的 に 呼出 すこ と に より 、 上 記し た シス テム 、 装 置 又は 方 法 と し て の 機 
能 を 実現 する 命令 の み を 含ん で いれ ば よい 。 も ちろ ん 、 独 立 し た プロ グラ ム の み で 必要 な 
機能 を 全て 提供 し て も よい 。 

【0080】 


30 


(14) JP 2018-149629 A 2018.9.27 


上 記 実 施 の 形態 で は 、 図 1 2 に 示す 驚き 区 間 検 出 部 26 4 に ルー ル ベ ー ス の も の を 用 い 
て いる 。 し か し 本 発明 は その よう な 実施 の 形態 に は 限定 され な い 。 ルー ル ベ ー ス の 検出 部 
に 代え て 、SVM、 ナ イー ブ ベ イズ 、 ロ ジス ティ ッ ク 回 帰 、DNN、RNN、CNN 等 か 
ら な る 、 機 械 学習 に よる 判定 器 を 用 いて も 良い 。 

【0081】 

さら に 、 二 上 記 実 施 の 形態 で は 、 驚 き 区 間 信 号 生 成 部 210 に よる 驚き 区 間 の 検出 を 行っ 
て いる 。 こ れ は 、 人 遠隔 の 話 者 の 音声 に 応じ て 、 そ の 話 者 の 人 驚き 状態 を アン ドロ イド に 反映 
させ る 必要 が ある た めで ある 。 本 発明 は その よう な 実施 の 形態 に は 限定 され な い 。 例 えば 
、 ア ンド ロイ ド を 所 定 の シナ リオ に し た が っ て 動作 させ る よう な 場合 に は 、 驚 き 区 間 は 既 
知 と な る 。 し た が っ て 、 和 驚き 区 間 信 号 生 成 部 210 は 不要 で あり 、 シ ナリ オ に し た が っ て 
、 和 驚き 動作 を 行う べき 区 間 を 示す 信号 を 眉毛 引き 上 げ 動 作 制御 部 2 80、 具 開 大 動作 制御 
部 2 82 、 瞬 き 制 御 部 21 8 、 頭 部 動作 制御 部 2 2 0 及び 上 半身 動作 制御 部 2 2 2 に 与え 
る 様 に すれ ば よい 。 こ の 場合 に は 、 フ ォ ル マン ト 抽出 部 2 1 2 も 不要 で 、 合 成 出力 すべ き 
音声 の ター ゲッ ト か ら フ ォ ル マン ト を 求め れ ば よい 。 

【0082】 

今回 開示 され た 実施 の 形態 は 単に 例示 で あっ て 、 本 発明 が 上 記し た 実施 の 形態 の み に 制 
限 さ れる わけ で は な い 。 本 発明 の 範囲 は 、 発 明 の 詳細 な 説明 の 記載 を 参 配 し た 上 で 、 特許 
請求 の 範囲 の 各 請 求 項 に よっ て 示さ れ 、 そ こ に 記載 され た 文言 と 均等 の 意味 及び 範囲 内 で 
の 全て の 変更 を 含む 。 

【 符号 の 説明 】 
【0083】 

驚き 動作 生成 装置 

音声 信号 

驚き 区 間 信 号 生 成 部 

フォ ルマン ト 抽出 部 

口唇 動作 制御 部 

表情 制御 部 

瞬き 制御 部 

頭 部 動作 制御 部 

上 半身 動作 制御 部 
、226、228、230 アク チュ エー タ 群 

音声 認識 装置 

韻律 ・ 声質 特徴 抽出 部 

驚き 区 間 検 出 部 

眉毛 引き 上 げ 動 作 制 御 部 

肉 開 大 動作 制御 部 

制御 装置 
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図 4 】 
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